Same Trajectory, Different Knowledge: Information-State-Aware On-Policy Distillation for Search Agents
相同轨迹，不同知识：面向搜索 Agent 的信息状态感知 On-Policy 蒸馏
🧭 搜索 Agent 的 on-policy 蒸馏与过程监督 ★ 深度解读
Beijing Institute of Technology · Huawei
提出 ISA-Distill，按学生状态的事实可恢复性加权 fact-use 与 evidence-seeking 双视图反馈，纠正 teacher 特权信息偏差
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 的 RL 过程监督中，不要把 gold answer 或完整 evidence 直接塞给 teacher；可增加一个“学生侧事实可恢复性”估计：用 frozen policy 对 value-masked probe 采样 32 次，算 mean token NLL，再校准为 k∈[0,1]。按 k 加权“已知事实利用”和“缺失证据获取”两个 teacher 视图，训练期仅增加约 4.3% 开销，就能缓解多跳商品问答中的 search 不足与过早作答。
- 对多跳商品属性问答、活动规则查询、商品对比/导购等任务，可按 recoverability 动态分配 search budget：事实已知时少搜，事实缺失时多搜；论文经验是单跳调用 -7.21%、多跳 +2.94%，整体 calls 更省且准确率提升。
- 过程监督无需覆盖全轨迹 token：只对 <search> tag + query、<conclusion> tag + factual assertion 等关键 span 做有界 local correction，监督 token 仅约 11.32% 也能获得稳定提升，适合预算受限的在线训练链路。
- 若发现蒸馏后的推荐/搜索 Agent 搜索次数不足或过早停止，可做 paired evidence utility 诊断：给 teacher 加 gold fact，观察其对 search token score 的变化；positive-utility search 被大幅降分即存在 information-state mismatch，可引入 recoverability-aware 修正。